Recommendation Quality and the Concentration of Consumption: Experimental Evidence from Netflix
推荐质量与消费集中度：来自Netflix的实验证据
🧭 推荐质量与消费集中度实验 ★ 深度解读
Netflix · Northwestern Kellogg · Cornell University · Cornell Tech
Netflix 850万用户holdback实验发现推荐算法进步使消费从超级头部转向中腰部，总参与度提升
📌 工作参考价值（4 点）
- 用长周期 cumulative holdback 而非单个 A/B 来度量推荐系统累计改进的分布效应；电商/广告可周期性冻结旧模型，监控商品曝光与成交的 HHI 及分桶（头部/中腰部/长尾）变化，防止只盯总 GMV 而忽视供给结构。
- 在排序、召回中，popularity bias 会默认推荐头部；更强的偏好推断（例如更深的模型、联合建模）会自然把流量从中腰部释放。可显式评估不同流量分位上的边际收益，优先投资中腰部商品，而不是无条件做长尾多样性。
- 评估推荐质量时同时看“推荐来源占比、MRR、完播/正向反馈”等指标；区分 inframarginal switching 与 extensive-margin entry 对平均匹配质量的影响，避免把平均质量下降误判为推荐变差。
- 工程上若使用 HHI 做系统健康度监控，注意 1-2% 的播放 HHI 下降可能对应显著 engagement 提升；可作为长期收益指标，但需结合用户侧价值验证。